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© PROCEDE D'ESTIMATION DU MOUVEMENT DOMINANT DANS UNE SEQUENCE D'IMAGES. 



© Le procede effectuant un calcul (1) d'un champ de 
vecteurs de mouvement associe k une image, definissant, 
pour un element d'image de coordonn§es xi, yi, un ou plu- 
sieurs vecteurs de mouvement de composantes ui, vi, est 
caracteris6 en ce qu'il realise egalement les etapes 
suivantes: 

- moderation du mouvement (2) a partir d'une repre- 
sentation parametrique simpliftee: 

ui = tx + k.xi 
vi = ty + k.yi 
avec 

tx, ty composantes d'un vecteur representant la compo- 
sante de translation du mouvement, 

k facteur de divergence caracterisant la composante de 
zoom du mouvement, 

- regression lineaire robuste (3) dans chacun des deux 
espaces de representation du mouvement definis par les 
plans (x, u) et (y, v), x, y, u et v representant respectivement 
les axes des variables xi, yi, ui et vi, pour donner des droites 
de regression, 

- calcul des parametres tx, ty, et k (4, 5) & partir des pen- 
tes et des ordonn6es a I'origine des droites de regression. 

Les applications concement la selection d'images-cles 
pour Indexation video ou la generation de meta-donnees. 
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L'invention concerne un procede et dispositif d'estimation du 
mouvement dominant dans un plan video. Plus precisement, le procede se 
base sur I'analyse des champs de mouvement transmis avec la video dans 
des schemas de compression utilisant une compensation du mouvement. De 
tels schemas sont mis en ceuvre dans les normes de compression video 
MPEG-1, MPEG-2 et MPEG^L 

II est connu des precedes d'analyse de mouvement bases sur 
I'estimation, a partir des vecteurs de mouvement issus des flux video 
comprimes de type MPEG, d'un modele de mouvement qui est le plus 
souvent affine: 

fu(x i ,y i ) = ax i +by i +c 
[v(x l ,y i ) = dx i +ey i +f 
ou u et v sont les composantes d'un vecteur ©j present a ia 
position(x i ,y i )du champ de mouvement. L'estimation des parametres 
affines a, b, c, d, e et f du modele de mouvement s'appuie sur une technique 
de minimisation des erreurs aux moindres carres. Un tel procede est decrit 
dans ('article de MA Smith et T. Kanade « Video Skimming and 
Characterization through the Combination of Image and Language 
Understanding » (actes de IEEE 1998 International Workshop on Content- 
Based Access of Image and Video Databases, pages 61 a 70). Les auteurs 
de cet article utilisent les parametres du modele affine du mouvement, ainsi 
que les moyennes «et v des composantes spatiales des vecteurs du 
champ, pour identifier et classifier le mouvement apparent. Par exemple, 
pour determiner si le mouvement est un zoom, ils verifient qu'il existe un 
point de convergence {x 0 ,y Q )dii champ de vecteurs, tel que u(x 0 ,y 0 ) = 0 et 
v(x 0 ,y 0 ) = 0, au moyen de la condition suivante : 
a b 
d e 

Les moyennes des composantes des vecteurs Get v sont 
analysees pour tester I'hypothese d'un panoramique. 

II est egalement connu des precedes d'analyse de mouvement 
exploitant directement les champs de vecteurs issus du flux video MPEG, 
sans passer par 1'identification d'un modele de mouvement. L'article de O.N. 
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Gerek et Y. Altunbasak « Key Frame Selection from MPEG Video Data » 
(actes du congres Visual Communications and Image Processing '97, pages 
920 a 925) decrit un tel precede. La methode consiste a construire, pour 
chaque champ de mouvement associe a une image du train binaire MPEG, 
5 deux histogrammes du champ de vecteurs, Tun relevant I'occurrence des 
vecteurs en fonction de leur direction, et le second en fonction de leur 
amplitude. Des exemples de tels histogrammes sont represents sur les 
figures 1 et 2: la figure 1 illustre une configuration ou le mouvement 
apparent dans I'image est un zoom, alors que dans la figure 2 le mouvement 
1 0 dominant est un panoramique. 

Un seuillage de la variance associee au nombre de vecteurs de 
mouvement dans chaque classe (« bin » en anglais) de I'histogramme, pour 
chacun des deux histogrammes, est ensuite utilise pour identifier la presence 
de mouvements dominants de type "zoom" et "panoramique". 
15 Les methodes telles que celle proposee par Gerek et 

Altunbasak fournissent une information purement qualitative sur la categorie 
du mouvement dominant, alors qu'une estimation quantitative sur ('amplitude 
du mouvement est souvent requise. Les methodes telles que celle proposee 
par Smith et Kanade basees sur I'estimation d'un modele parametrique de 
20 mouvement fournissent ces informations quantitatives, mais sont souvent 
assez peu fiables. En effet, ces methodes ne prennent pas en compte la 
presence dans la scene video traitee de plusieurs objets suivant des 
mouvements apparents differents. La prise en compte des vecteurs associes 
aux objets secondares est susceptible de fausser de maniere significative 
25 I'estimation aux moindres carres des parametres du modele de mouvement 
dominant. Un objet secondaire est ici defini comme un objet qui occupe sur 
I'image une surface inferieure a celle d'au moins un autre objet de I'image, 
I'objet associe au mouvement dominant etant celui qui occupe la plus grande 
surface dans I'image. Par ailleurs, meme en presence d'un seul objet en 
30 mouvement dans I'image, les vecteurs du flux video comprime qui servent de 
base a Tanalyse du mouvement ne refletent pas toujours la realite du 
mouvement apparent reel de I'image. En effet, ces vecteurs ont ete calcules 
dans le but de minimiser la quantite d'information a transmettre apres 
compensation de mouvement, et non d'estimer le mouvement physique des 
35 pixels de I'image. 
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Une estimation fiable d'un modele de mouvement a partir des 
vecteurs issus du flux comprime requiert ('utilisation d'une methode robuste, 
eliminant automatiquement du calcul les vecteurs de mouvement relatifs a 
des objets secondaires ne suivant pas le mouvement dominant, ainsi que les 
vecteurs ne correspondant pas au mouvement physique de I'objet principal 
de I'image. 

Des methodes robustes d'estimation d'un modele 
parametrique de mouvement dominant ont deja ete proposees dans des 
contextes differents de I'utilisation de flux video comprimes. Un exemple en 
est fourni dans I'article de P. Bouthemy, M. Gelgon et F. Ganansia intitule 
«A unified approach to shot change detection and camera motion 
characterization », paru dans la revue IEEE Circuits and Systems for Video 
Technology volume 9 n° 7, Octobre 1999, pages 1030 a 1044. Ces 
methodes presentent I'inconvenient d'etre tres complexes a mettre en 
oeuvre. 

L'invention presentee ici a pour but de pallier les inconvenients 
des differentes families de methodes d'estimation du mouvement dominant 
presentees ci-dessus. 

L'invention a pour objet un precede de detection d'un 
mouvement dominant dans une sequence d'images effectuant un calcul d'un 
champ de vecteurs de mouvement associe a une image, definissant, pour un 
element d'image de coordonnees xi, yi, un ou plusieurs vecteurs de 
mouvement de composantes ui, vi, caracterise en ce qu'il effectue 
egalement les etapes suivantes: 

- moderation du mouvement a partir d'une representation 

parametrique simplifi6e : 
ui = tx +k.xi 
vi = ty +k.yi 
avec 

tx, ty composantes d'un vecteur representant la composante de 
translation du mouvement, 

k facteur de divergence caracterisant la composante de zoom 

du mouvement, 

- regression lineaire robuste dans chacun des deux espaces de 
representation du mouvement definis par les plans (x,u) et (y,v), x, y, u et v 
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representant respectivement les axes des variables xi, yi, ui et vi, pour 
donner des droites de regression, 

- calcul des parametres tx, ty, et k a partir des pentes et des 
ordonnees a I'origine des droites de regression. 
5 Selon un mode de mise en ceuvre, la regression robuste est la 

methode de la moindre mediane des carres qui consiste a chercher, parmi 
un ensemble de droites j, rij etant le residu du ieme echantillon de 
coordonnees xi, ui ou yi, vi, par rapport a une droite j, celle fournissant la 
valeur mediane de I'ensemble des carres des residus qui est minimale: 
min(medifj) 

10 j 1 

Selon un mode de mise en oeuvre, la recherche de la moindre 

mediane des carres des residus est appliquee sur un nombre predefini de 

droites determinees chacune par un couple d'echantillons tires aleatoirement 

dans I'espace de representation du mouvement considere. 

15 Selon un mode de mise en ceuvre, le proc^de effectue, apres la 

regression lineaire robuste, une deuxieme regression lineaire non-robuste 
permettant d'affiner les estimations des parametres du modele de 
mouvement. Cette deuxieme regression lineaire peut exclure les points dans 
les espaces de representation dont le residu de regression issu de la 

20 premiere regression robuste excede un seuil predetermine. 

Selon un mode de mise en ceuvre, le procede effectue un test 
d'egalite des coefficients directeurs des droites de regression calculees dans 
chacun des espaces de representation, base sur une comparaison des 
sommes des carres des residus obtenus premierement en effectuant deux 

25 regressions separees dans chaque espace de representation, deuxiemement 
en effectuant une regression de pente globale sur I'ensemble des 
echantillons des deux espaces de representation, et, dans le cas ou le test 
est positif, estime le parametre k du modele par la moyenne arithmetique des 
coefficients directeurs des droites de regression obtenues dans chaque 

30 espace de representation. 

L'invention concerne egalement un dispositif comportant des 
moyens de calcul pour la mise en ceuvre du procede. 

En exploitant un modele parametrique tres simplifie, mais 
35 neanmoins suffisamment realiste, du mouvement dominant dans une image 
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video, le precede permet la mise en oeuvre de methodes robustes 
d'identification du modele de mouvement a un cout reduit. Plus precisement, 
I'interet principal du pro-cede decrit dans I'invention reside dans I'utilisation 
d'un espace de representation judicieux des composantes des vecteurs de 
5 mouvement, qui permet de ramener I'identification des parametres du 
modele de mouvement a une double regression lineaire. 

D'autres particularites et avantages de I'invention apparaftront 
clairement dans la description suivante donnee a titre d'exemple non lim'rtatif 
1 0 et faite en regard des figures annexees qui represented : 

- la figure 1, un champ de vecteurs de mouvement theoriques 
correspondent a un "zoom", 

- la figure 2, un champ de vecteurs de mouvement theoriques 
correspondant a une scene pour laquelle le mouvement dominant de 

1 5 I'arriere-plan est de type "panoramique", et qui comporte egalement un objet 
secondaire suivant un mouvement distinct du mouvement dominant, 

- la figure 3, une illustration des espaces de representation des 
vecteurs de mouvement utilises dans I'invention, 

- le figure 4, la distribution des vecteurs theoriques pour un 
20 mouvement de zoom centre dans les espaces de representation utilises dans 

I'invention, 

- le figure 5, la distribution des vecteurs theoriques pour un 
mouvement de translation oblique globale de I'image dans les espaces de 
representation utilises dans I'invention, 

25 - le figure 6, la distribution des vecteurs theoriques pour un 

mouvement combine de translation et zoom dans les espaces de 
representation utilises dans I'invention, 

- le figure 7, la distribution des vecteurs theoriques pour une 
scene statique (mouvement nul) dans les espaces de representation utilises 

30 dans I'invention, 

- le figure 8, un organigramme de la m6thode de detection du 

mouvement dominant. 

La caracterisation du mouvement dominant dans une sequence 
35 d'images passe par I'identification d'un modele parametrique de mouvement 
dominant apparent. Dans le contexte de I'exploitation de champs de vecteurs 
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de mouvement issus de flux video comprimes, ce modele doit representer le 
mouvement apparent dans le plan image 2D. Un tel modele est obtenu par 
approximation de la projection sur le plan image du mouvement des objets 
dans I'espace tri-dimensionnel. A titre d'exemple, le modele affine a 6 
5 parametres {a,b,c,d,e,f) presente plus haut est couramment adopte dans la 
litterature. 

Le precede propose consiste, a la base, a identifier ce modele 
parametrique du mouvement, a partir de champs de vecteurs de mouvement 
qui sont foumis dans le flux video afin d'en effectuer le decodage, lorsque le 

10 principe de codage fait appel a des techniques de compensation de 
mouvement telles qu'exploitees par exemple dans les normes MPEG-1, 
MPEG-2 et MPEG-4. Toutefois, le precede decrit dans I'invention est 
egalement applicable a des champs de vecteurs de mouvement qui auraient 
ete calcules par un processus separe a partir des images constituant la 

1 5 sequence video traitee. 

Dans le contexte de la presente invention, le modele de 
mouvement adopte est derive d'un modele lineaire simplifie a 4 parametres 
(t x , t y , k, 9) que nous appellerons SLM (acronyme de I'expression anglaise 
Simplified Linear Model), defini par : 

20 
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avec : 

(u j , Vj )* : composantes du vecteur de mouvement apparent 
25 associe au pixel du plan image de coordonnees (x iy y3 , 

(xg^g)* : coordonnees du point de reference pour 

I'approximation de la scene 3D filmee par la camera en une scene 2D ; ce 
point de reference sera assimile au point de coordonnees (0 , 0)' de I'image, 
(t x , t y : vecteur representant la composante de translation 

30 du mouvement, 

k : terme de divergence representant la composante 

de zoom du mouvement, 



2833797 



6 : angle de rotation du mouvement autour de I'axe 

de la camera. 

L'objectif recherche est d'identifier les mouvements dominants 
provoques par les deplacements et les transformations optiques des 
cameras, par exemple un zoom optique, dans les sequences video. II s'agit 
en particulier d'identifier les mouvements de camera qui sont statistiquement 
les plus repandus dans la composition des documents video, regroupant 
majoritairement les mouvements de translation et de zoom, leur 
combinaison, et les absences de mouvement, c'est a dire les plans statiques 
ou fixes. Les effets de rotation de camera, tres rarement observes en 
pratique, ne sont pas pris en compte : on restreint done le modele aux 3 
parametres (f x , t y , k) en effectuant I'hypothese que 6 * 0 . 

On a alors deux relations de linearite entre les composantes 
des vecteurs et leur position spatiale dans I'image : 

u i =t x + ^* x i 
Vj =t y +k.y } 

L'avantage de cette representation parametrique simpl'rfiee du 
mouvement est que les parametres t x , t y et k, decrivant respectivement les 
deux composantes de translation et le parametre de zoom du modele de 
mouvement, peuvent etre estimes par regression lineaire dans les espaces 
de representation du mouvement wpf(Xi) et vrHy,). Ainsi que I'illustre la figure 
3, la representation d'un champ de vecteurs de mouvement dans ces 
espaces fournit generalement, pour chacun d'entre eux, un nuage de points 
distribue autour d'une droite de pente k. 

Le processus d'estimation des parametres du modele simplifie 
de mouvement est base sur I'application d'une regression lineaire de type 
robuste dans chacun des espaces de representation du mouvement. La 
regression lineaire est une operation mathematique qui determine la droite 
s'ajustant au mieux a un nuage de points, par exemple en minimisant la 
somme des carres des distances de chaque point a cette droite. Cette 
operation est, dans le contexte de I'invention, mise en ceuvre a I'aide d'une 
technique d'estimation statistique robuste, de facon a garantir une certaine 
insensibilite vis-a-vis de la presence de valeurs aberrantes dans les 
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donnees. En effet, I'estimation du modele de mouvement dominant doit 
s'affranchir. 

- de la presence dans I'image de plusieurs objets dont certains 
suivent des mouvements secondares distincts du mouvement dominant, 

- de la presence de vecteurs de mouvements ne representant 
pas le mouvement physique des objets. En effet, les vecteurs de mouvement 
transmis dans un flux video comprint ont ete calcules dans le but de 
minimiser la quantite d'information residuelle a transmettre apres 
compensation de mouvement et non dans le but de fournir le mouvement 
reel des objets constituant la scene imagee. 

La figure 8 synthetise les differentes etapes de la methode 
d'estimation du mouvement dominant dans la sequence. Chacune de ces 
etapes est decrite plus precisement dans ce qui suit. 

Une premiere etape 1 effectue une normalisation des champs 
de vecteurs de mouvement associes chacun a une image de la sequence 
video traitee. Ces champs de vecteurs sont supposes avoir ete calcules 
prealablement a Implication de I'algorithme, a I'aide d'un estimateur de 
mouvement. L'estimation du mouvement peut etre effectuee pour des blocs 
rectangulaires de pixels de I'image, comme dans les methodes 
d'appariement de blocs de pixels dites « block-matching », ou fournir un 
champ de vecteurs dense, ou un vecteur est estime pour chaque pixel de 
I'image. La presente invention traite preferentiellement, mais non 
exclusivement, le cas ou les champs de vecteurs utilises ont ete calcules par 
un encodeur video et transmis dans le flux video comprime a des fins de 
decodage. Dans le cas typique oil le schema d'encodage utilise est conforme 
a une des normes MPEG-1 ou MPEG-2, les vecteurs de mouvement sont 
estimes pour I'image courante a raison d'un vecteur par bloc rectangulaire de 
I'image, relativement a une trame de reference dont la distance temporelle a 
I'image courante est variable. Par ailleurs, pour certaines frames dites « B » 
predites de maniere bi-directionnelle, deux vecteurs de mouvement peuvent 
avoir ete calcules pour un meme bloc, I'un pointant depuis I'image courante 
vers une trame de r6ference passee et I'autre depuis I'image courante vers 
une trame de reference future. Une etape de normalisation des champs de 
vecteurs est done indispensable de facon a traiter, dans les etapes 
ulterieures, des vecteurs calcules sur des intervals temporels de durees 
egales et pointant dans une meme direction. Le paragraphe 3.2 de I'article 
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de V. Kobla et D. Doermann intitule « Compressed domain video indexing 
techniques using DCT and motion vector information in MPEG video », 
Proceedings of the SPIE vol. 3022, 1997, pages 200 a 211, fournit un 
exemple de methode permettant d'effectuer cette normalisation. D'autres 

5 techniques plus simples basees sur des approximations lineaires du 
mouvement sur les intervalles de calcul des vecteurs MPEG peuvent 
egalement etre utilisees. 

La deuxieme etape referencee 2 effectue une construction des 
espaces de representation du mouvement presentes plus haut. Chaque 

10 vecteur CDj du champ de mouvement, de composantes (u^Vj)' et de 

position (x^yj)*, est represents par un point dans chacun des deux 

espaces u,=f(x/) et vpf(y/). 

Chaque couple de points (x it u) et (y/,v>) correspondant a la 
representation d'un vecteur du champ de mouvement peut etre modelise 
1 5 relativement aux droites de regression dans chacun des espaces par : 

u i =a 0 .Xi+b 0 +s u . 

< 

v i =a 1 .y i +bi+e Vi 

ou 

(a 0 ,b 0 ) sont les parametres de la droite de regression a calculer 
20 dans I'espace i/rffa) ; s ui est Perreur residuelle correspondante. 

(ai.bi) sont les parametres de la droite de regression a calculer 
dans I'espace v,=f(y«) ; fiw est I'erreur residuelle correspondante. 

La figure 3 illustre des nuages de points obtenus apres 
construction de ces deux espaces a partir d'un champ de vecteurs de 
25 mouvement normalise. 

Les parametres (a Ol b 0 ) et (a,,b f J obtenus a Tissue des 
regressions lineaires dans chacun des espaces de representation fournissent 
des estimations des parametres du modele de mouvement dominant. Ainsi, 
les pentes a 0 et a t correspondent a une double estimation du parametre de 
30 divergence k caracterisant la composante de zoom, alors que les ordonnees 
a Torigine b 0 et b f correspondent a une evaluation des composantes t x et t y 
de translation. 

Les figures 4 a 7 montrent quelques exemples de 
configurations possibles. 
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- distribution des donnees en cas de zoom centra pour la figure 

4, 

- distribution des donnees en cas de mouvement de translation 

oblique pour la figure 5, 

- distribution des donnees en cas de zoom decentre 
(mouvement combinant un zoom et une translation) pour la figure 6, 

- distribution des donnees en cas d'une absence de mouvement 
pour la figure 7. 

L'etape suivante 3 effectue une regression lineaire robuste pour 
chacun des espaces de representation du mouvement, dans le but de 
separer les points de donnees representatifs du mouvement dominant reel 
de ceux correspondant, soit au mouvement d'objets secondaires dans 
I'image, soit a des vecteurs ne traduisant pas le mouvement physique des 
pixels auxquels ils sont associes. 

II existe plusieurs families de techniques d'estimation robuste. 
Selon un mode preferentiel de realisation de Tinvention, les droites de 
regression sont calculees de maniere a satisfaire le critere de la moindre 
mediane des carres. La methode de calcul, presentee brievement ci-apres, 
est decrite de maniere plus complete au paragraphe 3 de I'article de P. Meer, 
D. Mintz et A. Rosenfeld « Robust Regression Methods for Computer Vision : 
A Review », paru dans International Journal of Computer Vision, volume 6 n° 
1, 1991, pages 59 a 70. 

Appelant ry le residu du i 6me echantillon d'un espace de 
representation du mouvement dans lequel on cherche a estimer I'ensemble 
Ej des parametres de regression (pente et intercept de la droite de 
regression), on calcule Ej de maniere a satisfaire le critere suivant : 
min(medrj j) 

E j i 

Le residu ry correspond a I'erreur residuelle £w ou £W - suivant 
I'espace de representation considere - associee a la moderation du i 6 " 16 
echantillon par la droite de regression de parametres Ej. La solution a ce 
probleme de minimisation non-lineaire necessite une recherche de la droite 
definie par Ej parmi toutes les droites possibles. Afin de restreindre les 
calculs, on limite la recherche a un ensemble fini de p droites de regression, 
definies par p couples de points tires aleatoirement parmi les echantillons de 
I'espace de representation etudie. Pour chacune des p droites, on calcule et 
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on trie les carres des residus de fa9on a identifier le carre du residu carre qui 
presente la valeur mediane. La droite de regression est estimee comme ceile 
qui fournit la plus petite de ces valeurs medianes des carres des residus. 

Le fait de selectionner la droite de regression sur I'unique carre 
du residu median, plutot que sur I'ensemble des residus, confere au 
processus de regression son caractere robuste. En effet, il permet de ne pas 
prendre en compte des residus de valeurs extremes, susceptibles de 
correspondre a des points de donnees aberrants et done de fausser la 
regression. 

En testant par exemple p =12 droites, la probability qu'au moins 
un des p couples soit consfrtue de deux echantillons non-aberrants, e'est-a- 
dire representatifs du mouvement dominant, est tres proche de 1. Si la 
proportion d'echantillons aberrants est inferieure a 50%, ce que Ton suppose, 
un tel couple ne comportant pas d'echantillon aberrant fournit une droite de 
regression en meilleure adequation avec le nuage d'echantillons - done 
presentant un residu carre median plus faible - que n'importe quel couple de 
points comportant au moins un echantillon aberrant. On est alors quasiment 
assure que la droite de regression finalement obtenue est definie par deux 
echantillons non aberrants, ce qui garantit la robustesse de la methode vis-a- 
vis des echantillons aberrants. 

Les droites de regression obtenues par estimation robuste dans 
chaque espace de representation sont ensuite utilisees pour identifier les 
echantillons aberrants. Dans ce but, on calcule, en fonction de la valeur 
mediane du carre du residu correspondant a la meilleure droite de regression 
trouvee, une estimation robuste a de I'ecart-type des residus associes aux 
Echantillons non aberrants, sous I'hypothese qu'iis suivent une distribution 
gaussienne, et on etiquette comme echantillon aberrant tout echantillon dont 
la valeur absolue du residu excede K fois 6 . On peut avantageusement fixer 

la valeur de K a 2,5. 

Toujours dans cette etape 3, on effectue enfm des regressions 
lineaires classiques, non robustes, sur les echantillons de chaque espace de 
representation, en excluant les echantillons identifies comme aberrants. Ces 
regressions fournissent des estimations affinees des parametres (a 0 ,b 0 ) et 
(a 1t bi) qui seront utilisees dans la suite du precede. 

L'etape suivante 4 effectue un test de linearite des droites de 
regression dans chacun des espaces de representation. Ce test a pour but 



de verifier que les nuages de points dans chaque espace sont effectivement 
approximativement distribues suivant des droites, ce que ne garantit 
aucunement I'existence - systematique - d'une droite de regression. 

Le test de linearite est effectue, dans chaque espace de 

5 representation, en comparant a un seuil predetermine I'ecart type des 
residus issus de la regression lineaire portant sur les echantillons non 
aberrants. La valeur du seuil depend de la normalisation temporelle 
appliquee aux vecteurs de mouvement a I'etape 1 du precede. Dans le cas 
ou, apres normalisation, chaque vecteur represente un deplacement 

1 0 correspondant a I'intervalle de temps separant deux trames entrelacees, soit 
40 ms pour une transmission a 50 Hz, ce seuil peut avantageusement §tre 
fixe a 6. 

Si au moins un des tests de linearite effectues dans les deux 
espaces de representation echoue, on considere que le champ de 
1 5 mouvement correspondant a I'image courante ne permet pas une estimation 
fiable d'un modele de mouvement dominant. On positionne alors un drapeau 
signalant I'echec du processus d'estimation du mouvement dominant, et on 

traite I'image suivante. 

Dans le cas contraire, on passe a I'etape suivante 5, qui 

20 consiste a verifier que les pentes a 0 et a,, qui foumissent une double 
estimation du parametre de divergence k du modele de mouvement, ne 
different pas de maniere significative. Le test d'egalite de deux pentes de 
regression est un probleme connu, qui est traite dans certains ouvrages de 
statistique ; on pourra par exemple consulter le chapitre consacre a I'analyse 

25 de variance dans de livre de C.R. Rao « Linear Statistical Inference and its 
Applications » paru aux editions Wiley (2* me edition). On effectue de maniere 
classique ce test en calculant une pente de regression globale portant sur 
I'ensemble des echantillons non aberrants des deux espaces de 
representation du champ de vecteurs de mouvement. On forme ensuite le 

30 rapport de la somme des carres des residus relative a cette estimation de 
pente globale sur I'ensemble des donnees, a la somme sur les deux espaces 
des sommes des carres des residus relatives aux regressions separees - ne 
portant que sur les echantillons non aberrants. On compare ce rapport a un 
seuil predetermine ; si le rapport est superieur au seuil, I'hypothese d'egalite 

35 des pentes de regression dans les deux espaces de representation du 
mouvement n'est statistiquement pas valide. On positionne alors un drapeau 
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signalant I'echec du processus d'estimation du mouvement dominant, et on 
traite I'image suivante. Dans le cas ou le resultat du test est positif, on estime 
la valeur du coefficient de divergence k du modele de mouvement dominant 
par la moyenne arithm6tique des pentes de regression a 0 et a, obtenues 

5 dans chacun des espaces de representation. Les parametres t x et t y sont 
estimes respectivement par les valeurs des intercepts b 0 et bi issus des 
regressions lineaires dans les espaces de representation. 

Dans le cas ou le modele de mouvement est considere comme 
valide, c'est-a-dire si les tests effectues dans les etapes 4 et 5 ont ete passes 

1 0 avec succes, une classification du mouvement dominant est effectuee lors de 
I'etape suivante referencee 6. 

Le vecteur 9 = (k, t x ,.t y f des parametres estimes est exploite 
pour decider de la categorie dans laquelle classer le mouvement dominant, a 
savoir : 

15 -statique, 

- translation pure, 

- zoom pur, 

- translation combinee avec un zoom. 

L'algorithme de classification est base sur des tests de nullite 
20 des parametres du modele, conformement au tableau ci-dessous : 



Modele 


Parametres I 


Statique 


k = 0 


t X = 0 ty = 0 


Translation 


k = 0 


(tx. ty) 5* (0. 0) 


Zoom 


k^O 


t X = 0 I ty=0 


Zoom + translation 


k^O 


(tx,U 9^(0.0) 



Selon une technique simple, les tests de nullite des estimations 
des parametres du modeles peuvent etre effectues par simple comparaison 

25 a un seuil de leur valeur absolue. Des techniques plus elaborees, basees sur 
une moderation statistique de la distribution des donnees, peuvent 
egalement etre employees. Dans ce cadre statistique, un exemple 
d'algorithme de decision de la nullite des parametres du modele base sur 
des tests de vraisemblance est presente dans I'article de P. Bouthemy, M. 

30 Gelgon et F. Ganansia intitule « A unified approach to shot change detection 
and camera motion characterization », paru dans la revue IEEE Circuits and 
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Systems for Video Technology volume 9 n° 7, Octobre 1999, pages 1030 a 
1044. 

Une application de I'invention conceme Indexation video a 
partir de la selection d'images cles. 

En effet, le processus d'indexation video debute generalement 
par un pre-traitement, qui vise a restreindre le volume des informations a 
traiter dans le flux video a un ensemble d'images cles selectionnees dans la 
sequence. Les traitements d'indexation de la video, et en particulier 
I'extraction des attributs visuels, s'effectuent exclusivement sur ces images 
cles, dont chacune est representative du contenu d'un segment de la video. 
Idealement, I'ensemble des images cles doit former un resume exhaustif de 
la video, et les redondances entre le contenu visuel des images cles doivent 
etre evitees, de facon a minimiser la charge de calcul du processus 
d'indexation. Le precede d'estimation du mouvement dominant a I'interieur 
de chaque plan video permet d'optimiser la selection des images cles, a 
I'interieur de chaque plan, vis-a-vis de ces criteres, en t'adaptant au 
mouvement dominant. II est par exemple possible de cumuler les translations 
horizontales (respectivement verticales) de I'image, estimees par le 
parametre t x (respectivement t y ) a I'interieur d'un plan, et d'echantillonner une 
nouvelle image cle des que le cumul depasse la largeur (respectivement la 

hauteur) d'une image. 

Le precede decrit peut egalement etre exploite pour la 
generation de meta-donnees. Les mouvements dominants coincident 
souvent avec les mouvements de camera lors du tournage de la video. 
Certains realisateurs utilisent des sequences de mouvements de camera 
particulieres afin de communiquer au spectateur certaines emotions ou 
sensations. Le precede decrit dans I'invention peut permettre de detecter ces 
sequences particulieres dans la video, et par consequent de fournir des 
meta-donnees relatives a I'atmosphere creee par le realisateur dans certains 

passages de la video. 

Une autre application de la detection de mouvement dominant 
est la detection ou I'aide a la detection de ruptures de plans. En effet, un 
changement abrupt des proprietes du mouvement dominant dans une 
sequence ne peut etre engendre que par une rupture de plan. 

Enfin, le precede decrit dans I'invention permet I'identification, 
dans chaque image, du support du mouvement dominant. Ce support 
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coincide en effet avec I'ensemble des pixels dont le vecteur associe n'a pas 
ete identifie comme aberrant, au sens du mouvement dominant. La 
connaissance du support du mouvement dominant fournit une segmentation 
de I'objet qui suit ce mouvement. Cette segmentation peut etre exploitee sort 
pour effectuer une indexation separee des objets constituants I'image, ce qui 
permet le traitement de requetes partielles portant sur les objets et non sur la 
totalite des images, soit dans le cadre d'algorithmes de compression video 
bases sur des objets, tels que par exemple ceux specifies dans la norme de 
compression video MPEG-4. 
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REVENDICATIONS 



1 Procede d'estimation d'un mouvement dominant dans une 
5 sequence d'images effectuant un calcul (1) d'un champ de vecteurs de 
mouvement associe a une image, definissant, pour un element d'image de 
coordonnees xi, yi, un ou plusieurs vecteurs de mouvement de composantes 
ui, vi, caracterise en ce qu'il effectue egalement les etapes suivantes: 

- moderation du mouvement (2) a partir d'une representation 
1 0 parametrique simplifiee : 

ui = tx +k.xi 
vi = ty +k.yi 
avec 

tx, ty composantes d'un vecteur representant ia composante de 
15 translation du mouvement, 

k facteur de divergence caracterisant la composante de zoom 
du mouvement, 

- regression lineaire robuste (3) dans chacun des deux espaces 
de representation du mouvement definis par les plans (x,u) et (y,v), x, y, u et 

20 v representant respectivement les axes des variables xi, yi, ui et vi, pour 
donner des droites de regression, 

- calcul des parametres tx, ty, et k (4, 5) a partir des ordonnees 
a I'origine et pentes des droites de regression. 

25 2 Precede selon la revendication 1, caracterise en ce que la 

regression robuste (3) est la methode de la moindre mediane des carres qui 
consiste a chercher, parmi un ensemble de droites j, ri,j etant le residu du 
ieme echantillon de coordonnees xi, ui ou yi, vi, par rapport a une droite j, 
celle fournissant la valeur mediane de I'ensemble des carres des residus qui 

30 estminimale. 



3 Procede selon la revendication 2, caracterise en ce que la 
recherche de la moindre mediane des carres des residus (3) est appliquee 
35 sur un nombre predefini de droites determinees chacune par un couple 
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d'echantillons tires aleatoirement dans I'espace de representation du 
mouvement considere. 

3 Procede selon la revendication 1, caracterise en ce qu'il 
5 effectue, apres la regression lineaire robuste (3), une deuxieme regression 

lineaire non-robuste permettant d'affiner les estimations des parametres du 
modele de mouvement. 

4 Procede selon la revendication 3, caracterise en ce que la 
10 deuxieme regression lineaire exclut les points dans les espaces de 

representation dont le residu de regression issu de la premiere regression 
robuste excede un seuil predetermine. 

5 Procede selon la revendication 1, caracterise en ce qu'il 
15 effectue un test d'egalite (5) des coefficients directeurs des droites de 

regression calculees dans chacun des espaces de representation (4), base 
sur une comparaison des sommes des carres des residus obtenus 
premierement en effectuant deux regressions separees dans chaque espace 
de representation, deuxiemement en effectuant une regression de pente 
20 globale sur I'ensemble des echantillons des deux espaces de representation, 
et, dans le cas ou le test est positif, qu'il estime le parametre k du modele par 
la moyenne arithmetique des coefficients directeurs des droites de 
regression obtenues dans chaque espace de representation. 

25 6 Procede selon la revendication 1, caracterise en ce que le 

mouvement dominant est classe dans une des categories : translation, zoom, 
combinaison d'une translation et d'un zoom, image statique, selon les 
valeurs de tx, ty et k. 

30 7 Procede selon la revendication 1, caracterise en ce que le 

champ de vecteurs de mouvement est issu de I'encodage de la sequence 
video consideree par un algorithme de compression utilisant la compensation 
du mouvement, tel que les algorithmes conformes aux normes de 
compression MPEG-1, MPEG-2 ou MPEG-4. 

35 
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8 Application du precede selon la revendication 1 a la selection 
d'images cles, une image etant selectionnee en fonction du cumul, sur 
plusieurs images, des informations relatives aux parametres calcules tx, ty, 
ou k. 

9 Dispositif d'estimation d'un mouvement dominant dans une 
sequence d'images comportant un circuit de calcul (1) d'un champ de 
vecteurs de mouvement associe a une image, defmissant, pour un element 
d'image de coordonnees xi, yi, un ou plusieurs vecteurs de mouvement de 
composantes ui, vi, caracterise en ce qu'il comporte egalement des moyens 
de calcul pour effectuer: 

- une moderation du mouvement (2) a partir d'une 
representation parametrique simplifiee : 

ui = tx +k.xi 
vi = ty +k.yi 
avec 

tx, ty composantes d'un vecteur representant la composante de 
translation du mouvement, 

k facteur de divergence caracterisant la composante de zoom 
du mouvement, 

- une regression lineaire robuste (3) dans chacun des deux 
espaces de representation du mouvement definis par les plans (x,u) et (y,v), 
x, y, u £t v representant respectivement les axes des variables xi, yi, ui et vi, 
pour donner des droites de regression, 

- un calcul des parametres tx, ty, et k (4, 5) a partir des 
ordonnees a I'origine et pentes des droites de regression. 
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